想像一位精英學者,讀遍了地球上所有書籍,卻從未踏入交易大廳或醫院。儘管他們具備廣泛的邏輯推理能力,但卻缺乏 領域專屬的邏輯 進行高風險決策所需的關鍵要素。這正是基礎大型語言模型(LLMs)所面臨的挑戰。
通往專家之路
- 遷移學習與適應:我們並不會拋棄通用的掌握能力,而是在此基礎上進一步發展。領域適應是將模型的潛在空間重新調整,以識別新的語義邊界之特定應用。
- 持續預訓練:我們不是從零開始,而是在專門語料庫(例如美國證券交易委員會的申報文件)上執行額外的自監督學習。這會更新模型對詞彙的內部機率分佈。
- 中間任務訓練:這座橋樑會在最終微調至終極目標之前,教導模型該領域的「邏輯」——例如財務推理或法律分析。
「流動性」悖論
在一般語境下, 流動性 可能指物質的物理狀態。透過領域適應,當模型偵測到財務語法時,會優先考慮「流動資產的可得性」,從而避免在專業報告中產生可能造成災難性誤解的錯誤。